Phân biệt 4 phương thức huấn luyện phổ biến trong các mô hình Machine Learning trong thực tế

• Transfer learning: Đây là phương thức vô cùng phổ biến và hữu ích nếu các bạn có ít data. Cách áp dụng rất đơn giản. Các bạn sử dụng model đã được huấn luyện trên 1 dataset rất lớn và có nét tương đồng với dataset của các bạn (ImageNet, COCO, ...). Sau đó các bạn thay thế 1 vài layer cuối của model đó bằng các layer mới, và sau đó tiếp tục huấn luyện mô hình mới này với dataset của các bạn. Trong quá trình này thì chỉ có các layer mới được gắn thêm vào mới được update thông qua backpropagation
• Fine-tuning: Gần tương tự như Transfer learning, nhưng số lượng các layer được update sẽ linh động hơn. Có thể 1 vài hoặc thậm chí toàn bộ các layer sẽ được update. Ngoài ra những layer cuối cùng có thể sẽ không bị thay đổi bởi các layer mới
• Multi-task learning: Model được huấn luyện để thực hiện nhiêu task cùng 1 lúc. Ở công ty trước của mình, bọn mình cũng huấn luyện 1 model theo cách này. Mô hình classification của bọn mình vừa classify số áo, vừa classify màu của áo jersey cùng 1 lúc
• Federated learning: Đây là cách tiếp cận phi tập trung hóa, trong đó thì training data sẽ nằm ở thiết bị người dùng (e.g. điện thoại di động, ...). Sau đó, thay vì dữ liệu được gửi tới server thì model sẽ được gửi tới thiết bị người dùng và được huấn luyện tại đó. Cuối cùng, chỉ có các update là sẽ được thu thập và gửi ngược về cho server